花费 17 ms
Intellij idea开发Hadoop MapReduce程序

1、首先下载一个Hadoop包,仅Hadoop即可。 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6. ...

Fri Aug 26 23:35:00 CST 2016 0 14852
一个简单的MapReduce示例(多个MapReduce任务处理)

一、需求   有一个列表,只有两列:id、pro,记录了id与pro的对应关系,但是在同一个id下,pro有可能是重复的。   现在需要写一个程序,统计一下每个id下有多少个不重复的pro。   ...

Sun May 28 01:25:00 CST 2017 0 10880
在Hadoop平台跑python脚本

1、开发IDE,我使用的是PyCharm。 2、运行原理 使用python写MapReduce的“诀窍”是利用Hadoop流的API,通过STDIN(标准输入)、STDOUT(标准输出) ...

Fri Aug 26 19:08:00 CST 2016 0 4088
Hadoop重新格式化HDFS的方法

1、查看hdfs-site.xml: 将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除 2、查看core-site.xml: ...

Mon May 09 00:10:00 CST 2016 0 3847
Util.FSUtils: Waiting for dfs to exit safe mode

有好几次,启动Hadoop和HBase之后,执行jps命令,已经看到有HMaster的进程, 但是进入到HBase的shell,执行一个命令,会出现下面的错误: 进入到logs ...

Mon May 09 00:15:00 CST 2016 1 2767
CentOS6.5安装kafka-2.10-0.8.2(单机)

1、下载 地址:https://kafka.apache.org/downloads 本文中下载版本:kafka_2.10-0.8.2.2.tgz 2、安装 安装目录:/usr/loca ...

Tue May 15 23:08:00 CST 2018 0 1431
CentOS6.5安装zookeeper-3.4.5(单机)

1、下载 下载链接:http://archive.apache.org/dist/zookeeper/ 本文下载版本:zookeeper-3.4.5.tar.gz 2、安装 安装目录:/ ...

Tue May 15 23:03:00 CST 2018 0 981

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM